Rethinking Relative Policy Differences Transfer of On-Policy Distillation
重新思考在线蒸馏中相对策略差异迁移
🧭 LLM 后训练 · 相对策略差异蒸馏 ★ 深度解读
Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · The Australian National University · Renmin University of China
通过隐式奖励视角统一相对策略差异迁移，揭示任务定向差异强于规模差异，且参考过滤与目标兼容性决定迁移成败
📌 工作参考价值（4 点）
- 在跨模型蒸馏或复用强模型能力时，优先取「任务定向优化产生的 update」（如 SFT/RL 后的 expert），不要直接拿更大参数的 base 模型当老师；用 logπ_expert - logπ_ref 的隐式奖励替代绝对 logits，能降低对 teacher 绝对能力的依赖。
- 参考模型不是随便选的：reference 应过滤掉与 expert 共享的通用行为，只保留增量。可以通过 top-k token overlap 选择低重叠 reference；若目标模型与 proxy 不同模型族/代际，优先用与目标同 family 的 reference，可把失败迁移救回来。
- 工程上可以用 top-16 token 分布近似，降低计算；训练时对 token 级 advantage 做 centering（减去当前策略期望）避免 intractable log Z；用 on-policy rollout + stop-gradient actor loss，直接适配 autoregressive 生成。
- 蒸馏过程要同时监控 train 与 validation/held-out，关注目标与 expert 的 token overlap 提升；train acc 上升但 val 不涨说明未泛化，应更换 reference 或 target，而不是继续多训。